МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ КІСіТ КНЕУ ім. В. Гетьмана Самостійна робота №6 з предмету: "Методи та засоби комп’ютерних інформаційних технологій” за ІІ семестр 2010-2011 н.р. Тема: Загальні співвідношення для градієнту похибки. Зворотне поширення похибки Київ-2011 1 Загальні співвідношення для градієнту похибки Розглянемо застосування співвідношення (4.4) для загального випадку, коли нейронна мережа має кілька прихованих шарів, а для навчання використовується множина векторів даних. Навчальною послідовністю називають набір пар
, де Xm – вектор входу, а Tm– очікуване значення виходу нейронної мережі. Іноді вектор Xm називають образом, а Tm – реакцією нейромережі. Представлення при навчанні всієї послідовності
називають епохою. Визначимо величину сумарної похибки за епоху для мережі, що складається з K шарів нейронів:
, де
-величина похибки для nK -го виходу нейронної мережі при представленні m – го вектору навчальної послідовності Xm :
Щоб знайти реакцію довільного нейрона k –го шару представимо співвідношення (4.3) в такому вигляді:
;
. Величини порогу b(nk) та активаційні функції нейронів fn будемо вважати однаковими в межах одного шару мережі. Визначимо градієнт сумарної похибки мережі за епоху для виходу нейромережі, тобто для зв’язків нейронів K-го шару мережі:
. Користуючись ланцюговим правилом обчислення похідних, знайдемо величину градієнту для нейронів довільного l-го (l< k) шару:
Такі обчислення можна продовжувати впритул до першого (рецепторного ) шару мережі. В 1986 р. Румельхардтом та ін. було запропоновано метод спрощення таких розрахунків, який дістав назву Back Propagation – зворотного поширення похибки. 2 Зворотне поширення похибки Розглянемо спочатку мережу, що має лише один прихований шар нейронів і визначимо градієнт для шару виходів (2-го) та прихованого шару (1-го):
;
. Введемо величини
та
, що позначають приведене значення похибки для i-го нейрона відповідно першого та другого шару мережі:
,
. Підставляючи ці величини в наведені раніше формули для градієнта, одержимо:
;
. Розглядаючи співвідношення можна дійти висновку, що приведена похибка поширюється у зворотному напрямку від виходу нейромережі до її входу через зв’язки між нейронами. Для мережі з довільною кількістю шарів значення приведеної похибки можна обчислити за рекурентним співвідношенням:
. Відповідно можна представити співвідношення градієнту похибки у компактному вигляді:
. Контрольні питання: Розписати про загальні співвідношення для градієнту похибки. Розрисати про зворотне поширення похибки.